BayesPO: Bayesian Prompt Optimization via Parallel-Tempered Gradient-Guided Discrete MCMC
贝叶斯提示优化：基于并行回火梯度引导离散MCMC的后验采样
🧭 LLM Prompt 优化
Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University
将提示优化建模为离散提示令牌上的贝叶斯后验采样，用梯度引导MCMC与并行回火提升指令归纳准确率
📌 工作参考价值（4 点）
- 提供一种原则性后优化工具：给定初始提示和少量示例，可通过后验采样自动微调提示，适合电商/推荐场景中优化查询改写、商品描述生成等LLM指令。
- 贝叶斯框架可输出多个候选提示，支持集成或不确定性估计，提升生产环境鲁棒性。
- 梯度引导的离散MCMC方法比纯启发式搜索更高效，可考虑在Agent工作流中嵌入，利用历史交互数据在线优化Agent的指令模板。
- 需注意当前实现计算成本高，且容易在小样本优化集上过拟合，建议结合正则或交叉验证。